Graf bắt đầu sự nghiệp của mình với tư cách là một người thợ đóng tủ. Ông theo học nghề thủ công này tại quê hương Riedlingen ở miền nam Đức. Năm 1800, ông học việc từ một nhà chế tạo đàn piano tên là Jakob Schelkle và làm việc tại Währing. Khi Schelkle qua đời vào năm 1804, Graf kết hôn với người vợ góa Katherina và tiếp quản cửa hàng.[2] Năm 1824, ông được bổ nhiệm làm Nhà chế tạo đàn piano và bàn phím nhạc cụ cho triều đình Hoàng gia Viên.[3] Đến năm 1826, ông mua lại "Mondscheinhaus", một vũ trường thời thượng trước đây ở 102 auf der Wieden, và xây dựng lại nơi này thành một nhà máy sản xuất đàn piano.[4] Nhà máy của Graf đã sản xuất hơn 3000 nhạc cụ trong suốt thời gian hoạt động.[5] Năm 1840, Graf nghỉ hưu và bán công ty cho Carl Stein, cháu trai của nhà chế tạo đàn piano nổi tiếng Johann Andreas Stein.